One More Turn, Less Regret: A Regret-Based Multi-Turn Benchmark for LLMs' Clarification Policies
基于后悔值的多轮澄清基准：评估LLM助手的澄清策略
🧭 对话Agent澄清策略的后悔值评估基准
MBZUAI · BKAI Research Center, Hanoi University of Science and Technology · INSAIT, Sofia University "St. Kliment Ohridski"
提出基于后悔值的多轮澄清基准RegretBench，衡量LLM助手澄清策略的效率与效用，避免仅看最终成功。
📌 工作参考价值（4 点）
- 对话推荐中的澄清策略评估：在电商对话推荐中，用户需求往往模糊，可借鉴RegretBench的后悔值度量，评估系统是否在正确时机提问、何时停止，避免无效追问或过早错误回答，优化用户交互体验和转化效率。
- 优化Agent的停止决策：后悔值框架量化了“多问一轮”的机会成本，可直接用于强化学习稀疏奖励设计，训练Agent在信息增益低于阈值时果断停止，减少对话轮次和用户流失。
- 隐藏意图数据构建：RegretBench的隐藏意图设定可用于生成大量用户意图不确定的模拟训练数据，提升推荐Agent对模糊查询的处理能力，特别适合冷启动或用户画像缺失的场景。
- 多指标评估体系：该工作提醒不要仅看最终准确率，而应同时关注交互成本、无效澄清率，对应搜索推荐中的“结果页翻页深度”或“对话轮次”，可迁移到消息推送频率、主动推荐时机的决策中。